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(54) Verfahren und Einrichtung zur Analyse und Verarbeitung von Farbbildern 

(g) Die Erfindung betrifft ein Verfahren und eine Vorrichtung 
zur Analyse und Verarbeitung von Farbbildern durch Aus- 
wertung einer zu erkennenden Biidszene, welche punkt- und 
zeilenweise trichromatisch abgetastet und durch ein digital 
in Echtzeit arbeitendes Bildverarbeitungssystem verarbeitet 
wird. Die farbigen Objekte der Biidszene werden an Hand 
angelernter Farbklassen erfaSt und entsprechend ihrer An- 
zahl. Form und Position ausgewertet und/oder hinsichtlich 
ihrer Farbwerte analysiert, erkannt und/oder verglichen. 
Dabei wird eine objektbezogene Listenverarbeitung durch- 
gefuhrt, indem eine Detektion der Ecken zusammenhangen- 
der Gebiete in einem Labelbild erfolgt 
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Die Erfindung bezieht sich auf das Gebiet der elektro- 
nischen Bildverarbeitung und Objekterkennung und be- 
trifft ein Verfahren und eine Einrichtung zur Analyse 
und Verarbeitung von Farbbildern. Sie findet in einer 
Vielzahl von Anwendungsfallen Verwendung, wo es 
darauf ankommt, farbige Objekte entsprechend ange- 
lernter Farbklassen zu erfassen und entsprechend ihrer 
Anzahl, Form und Position auszuwerten und/oder hin- 
sichtlich ihrer Farbwerte zu analysieren, zu erkennen 
und/oder zu vergleichen. 

Obwohl beim menschlichen Sehen die Farbwahrneh- 
mung zweifellos eine grundlegende Bedeutung besitzt 
und im Bereich der technischen Bildwiedergabe das 
Farbfernsehen, die Farbfotografie und der Farbdruck 
selbstverstSndlich geworden sind, dominiert in der indu- 
striellen digitalen Bildanalyse immer noch die Grau- 
wertverarbeitung. Die Ursache liegt sicherlich darin, das 
bisher noch keine durchgangigen Systemlosungen ge- 
funden wurden, die in Bezug auf Universalitat, echtzeit- 
nahe Verarbeitung, ausreichende Farbqualitat, vertret- 
bare Hardwarekosten und Entwicklungsumgebung al- 
ien Anforderungen einer breiten industriellen Anwen- 
dung gerecht werden. 

Dabei ist die Farbe fur viele Problemlosungen und 
industrielle Anwendungsmoglichkeiten zum Teil unver- 
zichtbar. In vielen Fallen kann aber auch die Nutzung 
von Farbinformationen eine Erkennungsaufgabe im 
Vergleich zur Grauwertverarbeitung so vereinfachen 
und die Ergebnisse verbessern, daB der Mehraufwand 
gerechtfertigt ist bzw. sogar an anderer Stelle ausgegli- 
chen wird 

Der Begriff Farbe hat nur im Zusammenhang mit 
einem Wahmehmungssystems eine Bedeutung. So ist 
z. B. das menschliche Farbsehen ein auBerst komplexer 
Vorgang. Die Wirkungskette zwischen Licht und Farb- 
empfindung beginnt im Bereich der Physik (Emission 
des Lichtes, Absorption und Reflexion durch die unter- 
schiedlichen Materialien, Entstehung eines zeit- und 
ortsabhangigen Farbreizes), durchlauft den Bereich der 
Physiologie (optische Projektion des Farbreizes und 
Umwandlung in eine "interne Kodierung") und endet im 
Bereich der Psychologie, in der in Wechselwirkung mit 
dem Wissen und der Erfahrung des Menschen erst die 
eigentliche Farbempfindung entsteht 

Bereits Anfang des 19. Jahrhunderts wurde von dem 
englischen Arzt und Physiker Thomas Young die Theo- 
rie des trichromatischen Farbsehens entwickelt Deren 
Grundgedanke besteht darin, daB jede Farbempfindung 
durch eine Mischung von drei Lichtquellen mit unter- 
schiedlicher aber konstanter Wellenlange mittels Varia- 
tion deren Intensitat erzeugt werden kann. Diese Theo- 
rie ist die Grundlage der Colorimetrie, bei der durch 
Analyse des Farbreizes die resultierende Farbempfin- 
dung vorausgesagt und quantitativ beschrieben werden 
soil. In der Videotechnik, wo jeder Farbreiz durch eine 
Mischung aus rotem, griinen und biauen Licht erzeugt 
wird, findet dieser Ansatz unmittelbare Anwendung. 
Erst viel spater (1964) ist diese Arbeitshypothese durch 
Entschltisselung des biochemischen Prozesses im 
menschlichen Auge bestatigt worden. Demnach besteht 
die erste Stufe der Farbwahrnehmung darin, daB durch 
das sichtbare Licht drei Arten von Photorezeptoren der 
Retina (sogenannte Zapfen), die in verschiedenen, sich 
allerdings uberlappenden Spektralbereichen empfind- 
lich sind, unterschiedlich stark gereizt werden. Damit 
wurde bestatigt, daB die Vielf alt spektraler Verteilungen 



des sichtbaren Lichte^Brcht in vollem Umfang wahr- 
nehmbar ist und das Farbsehen grundsatzlich auf ein 
dreidimensionales Problem zunlckgef iihrt werden kann. 
Ausgangspunkt aller Farbsysteme sind die sogenann- 

5 ten Tristimuluswerte, die sich aus der Aufnahme eines 
Farbreizes mittels dreier Sensoren, die unterschiedliche 
spektrale Empfindlichkeitskurven besitzen, ergeben. Sie 
werden allgemein rnit R, G und B (far Rot, Grttn und 
Blau) bezeichnet Die meisten Farbsysteme sind nun 

io darauf ausgerichtet, diese Werte in einen anderen drei- 
dimensionalen Raum zu transformieren, der die explizi- 
te Trennung einer zweidimensional beschriebenen 
Buntheit (im CIE-System die Normfarbwertanteile) der 
Farbe von ihrer eindimensional beschriebenen Hellig- 

is keit ermoglicht In der Buntheitsebene ist stets ein 
Punkt als Unbuntpunkt ausgezeichnet. In diesem Punkt 
bilden sich Farben mit energiegleichen Spektren bzw. 
mit identischen Tristimuluswerten (R=G~B), d. h. die 
unbunten Farben, ab. Die Entfernung einer Farbe von 

20 diesem Punkt kennzeichnet ihre Sattigung (spektraler 
Farbanteil, saturation), die Richtung vom Unbuntpunkt 
zum Abbildungspunkt einer mehr oder weniger bunten 
Farbe definiert ihre Buntart (Buntton, hue). Die Hellig- 
keit ergibt sich in fast alien Systemen aus einer linearen 

25 Verknupfung der RGB- Werte, wobei in verschiedenen 
Systemen diese unterschiedlich gewichtet werden. Die 
entscheidenden Unterschiede treten in der Beschrei- 
bung der Buntheit auf. In einigen Systemen wird die 
zweidimensionale Buntheit mit karthesischen Koordi- 

30 naten beschrieben, wobei wie im ClExyz-System der 
Unbuntpunkt nicht im Koordinatenursprung liegen 
muB. Entsprechend der Unterscheidung von Sattigung 
und Buntart verwenden andere Systeme Polarkoordina- 
ten. 

35 In beiden Fallen muB deutlich unterschieden werden, 
ob der MaBstab der Buntheitsebene auf die Helligkeit 
normiert ist oder nicht, d. h. ob es sich um eine absolute 
oder eine relative Angabe der Sattigung handelt Letzt- 
endlich ist in der Farbbildverarbeitung die Bezugnahme 
40 auf die absolute Sattigung unerlaBlich, da im Falle eines 
kleinen absoluten Abstandes des Abbildungspunktes ei- 
ner Farbe in der Buntheitsebene vom Unbuntpunkt 
kleine Anderungen der RGB- Werte zu groBen, sprung- 
haften Anderungen der Buntart ftlhren und diese dem- 
45 zufolge nicht oder nur mit Vorsicht auswertbar ist. An- 
dererseits ist aber auch eine relative Sattigungsangabe 
erforderlich, wenn zwei bunte Farben, die sich im Fall 
gleicher Beleuchtung nur in ihrer absoluten Sattigung 
und nicht in ihrer Buntart unterscheiden auch bei Veran- 
50 derung der Helligkeit wiedererkannt und unterschieden 
werden sollen. Da ein Farbeindruck sich immer aus 
Buntheit und Helligkeit zusammensetzt, folgt natiirlich 
auch, daB Objekte, deren Farben sich nur in der Hellig- 
keit unterscheiden, bei wechselnder Helligkeit der Be- 
55 leuchtung nicht anhand ihrer Farbe wiedererkannt bzw. 
voneinander getrennt werden kOnnen. 

Bekannt sind exakte farbmetrische Messungen und 
Qualitatskontrollen, die nur unter genau definierten Be- 
leuchtungs- und Betrachtungsbedingungen mdglich 
60 sind. Mit vertretbarem Aufwand konnen solcher Art 
Farbanalysen derzeit mittels Spektralphotometern nur 
fur kleine, punktfdrmige MeBflachen realisiert werden. 
In vielen Fallen, die mit einer bildhaften Farbaufnahme 
und -auswertung verbunden sind, ist eine solche Genau- 
65 igkeit jedoch nicht erforderlich. Es geht nicht um farb- 
metrische Messungen an Objekten, sondern Farbe wird 
als ein weiteres Merkmal neben GrdBe, Form und Ober- 
flachentextur zur Detektion und Bewertung von Objek- 
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ten benutzt, wobei mitunc^^elativ grobe Unterschei- 
dungen ausreichend sind. 

Auf dem Gebiet der digitalen Bildverarbeitung sind 
bereits aus den deutschen Patentanmeldungen DE 
OS 4310727, DE OS 4309877, DE OS 4309879, DE 
OS 4335215 Verfahren und Einrichtungen bekannt, die 
der Vorlagen- Analyse einer zu reproduzierenden farbi- 
gen Bildvorlage dienen und das bisher bekannte Wissen 
auf dem Gebiet der Analysen von Bildvorlagen slnnvoll 
zusammenfassen. Diese Ldsungen gehen ebenfalls von 
der punkt- und zeilenweisen, trichromatischen Abta- 
stung eines Farbbildes aus. Die Bildwerte (R, G, B) eines 
Eingabegerates, die einen ersten Farbraum bilden, wer- 
den in funktionsmaBig zugehdrige Bildwerte (L*, a*, b*) 
eines zweiten Farbraumes transformiert An Hand die- 
ses zweiten Farbraumes werden bereits alle notwendi- 
gen Farbanalyse- und Bildbearbeitungs-Funktionen fiir 
die exakte Erstellung einer Reproduktions-Vorlage rea- 
lisiert Eine effektive Muster- und Objekterkennung, 
wie sie bei vielen industriellen, sicherheitstechnischen 
und militarischen Aufgaben gefordert wird, ist mit den 
bekannten Verfahren bei einem vertretbaren Aufwand 
nicht zu realisieren. 

Grundlage der meisten Verfahren zur Objekt- und 
Mustererkennung bildet die Grauwertverarbeitung, 
d. h. die Detektion von Grauwertsprungen (Grauwert- 
kanten) in einem Bild Daraus ergeben sich linienhafte 
Informationen, die die Kontursegmente der verschie- 
densten Objekte erfassen, aus denen unter Einbezie- 
hung geeigneter Modelle die gesuchten Objekte abge- 
leitet werden. Der flachenhafte Zusammenhang der Ob- 
jekte kann auf diesem Weg La. nur nachtraglich und 
modellgestutzt abgeleitet werden. Das kann sich bei ge- 
ringen Heliigkeitsunterschieden zwischen Objekt und 
Umgebung und anderen StOrungen (z. B. Verdeckun- 
gen, Schattenbildungen, Reflexionen) als sehr schwierig 
erweisen, da die Kantensegmente nur Kickenhaft oder 
stark gestdrt vorliegen. Die unmittelbare Ableitung flS- 
chenhafter Informationen auf der Basis von Grauwert- 
schwellen oder Texturmerkmalen, ist deshalb in vielen 
Fallen nicht praktikabel. Da bekannt ist, daB sich bunte 
Objekte bzw. Markierungen besser vom Untergrund 
bzw. der Umgebung unterscheiden, bietet sich die Hin- 
zunahme der Farbinformation in die Bildverarbeitung 
geradezu an. Die einfache summarische Verbindung der 
bekannten Verfahren zur Farbbildanalyse und zur Mu- 
ster- bzw. Objekterkennung ist zwar theoretisch m6g- 
lich, jedoch zu aufwendig und un6konomisch. 

Aus der deutschen Patentschrift DE PS 4141880 ist 
ein Verfahren und eine Vorrichtung zur automatischen 
Erkennung von farbigen und/oder auch schwarz/wei- 
Ben Objekten bekannt, welche unregelmaBig oder unzu- 
sammenhangend geforrnt sein kdnnen, wie beispielswei- 
se Zellcluster, Die von einer Videokamera gelieferten 
Bildpunktsignale werden mit einem Fensterkomparator, 
bei Farbsignalen mit drei Fensterkomparatoren, mit 
oberen und unteren Schwellenwerten verglichen. Es 
wird fur einzelne Bereiche eines iiber das Gesamtbild 
gelegten Rasters die Zahl der zwischen den Schwellen- 
werten liegenden Bildpunktsignale bestimmt, und die so 
ermittelten Zahlen werden in einer Speichermatrix ge- 
speichert, bei der jedes Element einem Bereich des tiber 
das Ausgangsbild gelegten Rasters entspricht Das so im 
Informationsgehalt reduzierte Bild wird anschlieSend 
mit einer Maske abgetastet, um zu bestimrnen, weiche 
Elemente der Speichermatrix einen vorgegebenen Wert 
Qberschreiten und um welchen Abstand sie von anderen 
Matrixelementen mit einem ebenfalls iiber dem Schwel- 
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lenwert liegenden Infiait getrennt sind 

Dieses bekannte Verfahren der Objekterkennung be- 
ruht auf einem Bildvergleich und ist speziell im medizi- 
nisch biologischen Bereich einsetzbar, wo es darum geht 
unregelmaBige und/oder auch unzusammenhangend 
geformte Zellstrukturen zu Erkennen und/oder diese 
Zellcluster zu zahlen. Zur besseren Erkennung werden 
die Zellstrukturen in bestimmter Weise eingefarbt und 
diese Farbinformation zus&tzlich in die Auswertung mit 
einbezogen. Dazu ist es notwendig, die allgemein im 
Stand der Technik bekannte Farbtransformation aus 
dem RGB-Raum in den HSI-Raum (H — Hue = Farb- 
ton, Buntart; S = Saturation = Sattigung; I = Intensity 
= Intensitat, Helligkeit) durchzuf uhren. 

Insgesamt wird in dieser Erfindung lediglich die 
Grauwertskala durch eine Farbskala erweitert, ohne das 
die Farbe, wie bei der menschlichen Farbwahrnehmung, 
integrativ in den komplexen ErkennungsprozeB mit ein- 
bezogen wird. 

Es ist daher Aufgabe der Erfindung, ein Verfahren 
und eine Einrichtung zu schaffen, in denen bestimmte 
Elemente bekannter Verfahren und Einrichtungen der 
Farbbildanalyse und der Muster- und Objekterkennung 
derart sinnvoll miteinander integriert sind, daB ein kom- 
plexes Farbbild-Erkennungs- und — Verarbeitungssy- 
stem entsteht, welches einfacher, ausreichend genau, 
schneller und zuverlassiger arbeitet sowie universell in 
der Anwendung und billiger in seiner Realisierung ist 

ErfindungsgemaB wird die Aufgabe in Bezug auf das 
Verfahren mit den in dem 1. Anspruch angegebenen 
Verfahrensschritten und in Bezug auf die Einrichtung 
mit den Merkmalen des 5. Anspruches gelost, indem die 
von einem Eingabegerat, welches eine Videokamera, ein 
Scanner oder eine CCD-Matrix sein kann, gewonnenen 
Bildwerte (R, G, B) eines ersten Farbraumes in einen 
hinsichtlich Buntart (Hue), Sattigung (Saturation) und 
Helligkeit (Intensity) (H, S, I) speziell definierten und 
vom ersten Farbraum unabhangigen zweiten Farbraum 
pixelweise transformiert werden. Die Umsetzung der 
Farbwerte aus dem ersten in den zweiten Farbraum 
erfolgt hardware-maBig in Videoechtzeit unter Verwen- 
dung von Look-Up-Table (LUT)-Bauelementen. 

In diesem zweiten Farbraum wird eine Trennung von 
Buntheit (Buntart und Sattigung) und Helligkeit durch- 
gefuhrt, was die Erkennung bestimmter Farbklassen 
auch bei Helligkeitsschwankungen erlaubt Fiir die spa- 
ter im Verfahren durchzufuhrende Muster- und Objekt- 
erkennung wird zusatzlich der Vorteil genutzt, daB die 
Klassifikation der einzelnen Bildpunkte anhand ihrer 
Farbe unrnittelbar zu einer flachenhaften Segmentie- 
rung des Abbildes fuhrt 

Gleichzeitig werden die Farbwerte des ersten Farb- 
raumes pixelweise klassifiziert und damitdas Farbbild in 
ein sogenanntes Labelbild (Label = Adresse, Kenn- 
zeichnung), welches nur noch die Klassennummern ent- 
halt, iiberfflhrt Technisch erfolgt die Farbklassifikation 
und die Erzeugung eines Labelbildes gleichzeitig und 
parallel zur Farbtransformation mittels demselben 
LUT, der dafiir mit einer entsprechend groBen Aus- 
gangswortbreite zur gleichzeitigen Kodierung der Wer- 
te des zweiten Farbraumes und der Label ausgestattet 
ist 

Die Belegung der Ausgangswerte in Form einer Ta- 
belle wird durch ein Verarbeitungssystem vorgenom- 
mea Die Zuordnung der Label, d. h. die Farbklassifika- 
tion kann sowohl auf Basis einer interaktiven Belehrung 
anhand von Beispielobjekten als auch auf Basis einer 
automatischen Analyse von Bildern im zweiten Farb- 
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raum durch das VerarbeiturifBPtem erfolgen. 

In dem Labelbild erfolgt dann eine Erkennung der 
Grenzlinien zwischen Gebieten mit verschiedenen La- 
bel in Videoechtzeit, indem ein Obergang zu einer ob- 
jektbezogenen Listenverarbeitung durch Detektion der 5 
Ecken (Erstellung einer Eckenkodeliste) durchgefQhrt 
wird. Hardware-maBig erfolgt die Realisierung der Ek- 
kenkodeumsetzung kostengiinstig und zweckmaBiger- 
weise in einem Eckenkodierer mit Hilfe von frei pro- 
grammierbaren LCA-Bauelementen. Damit ist die das 10 
Verfahren realisierende Schaltung optimal an verschie- 
dene Zwecke anpaBbar, ohne fUr weitere Implementie- 
rungen erneute Leiterkartenentwurf e herzustellen. 

Die entstehende Eckenkodeliste, die das Labelbild 
eindeutig beschreibt, aber wesentlich weniger Daten er- 15 
fordert als das Labelbild selbst, wird durch das Verar- 
beitungssystem, das auf einem Universalprozessor be- 
ruht, weiterverarbeitet Zunachst wird eine metrisch-to- 
pologische Beschreibung zusammenhangender Label- 
gebiete unter Einbeziehung schneller Konturapproxi- 20 
mationsverfahren abgeleitet. Auf dieser Basis und unter 
Einbeziehung der zielgerichteten Auswertung des ge- 
speicherten und transformierten Farbbildes konnen 
komplexe Objekte und Objektzusammenhange auf ei- 
ner symbolischen Ebene erkannt und analysiert werden. 25 

Eine vorteilhafte Ausgestaltung der Erfindung betrifft 
die besondere Arbeitsweise und den Aufbau des Ecken- 
kodierers, der aus den in einer Rasterbilddarstellung 
enthaltenen Konturecken eine Listendarstellung er- 
zeugt Die als Liste vorliegenden Bilddaten werden dann 30 
ohne weitere Bildverarbeitungs-Spezialhardware in ei- 
nem Verarbeitungssystem ausgewertet Der Eckenko- 
dierer erzeugt die Listendarstellung aus der Verarbei- 
tung 2- oder mehrlabeliger (z. B. 16-labeliger) Bilddaten. 

Eine im Eckenkodierer integrierte Vorverarbeitungs- 35 
stufe ermoglicht eine Binarisierung von Bilddaten be- 
ziiglich programmierbarer Schwellenwerte und damit 
auch die Verarbeitung von Grauwertbildern. 

Der Eckenkodierer ist somit fur die Verarbeitung 
von: 40 

* Binarbiidern (2-labelig) 

* Grauwertbildern (nach Binarisierung 2-labelig oder 
jedem Grauwert ein Label zugeordnet) und 

* Farbbildern (jedem Farbwert oder Farbbereich z. B. 
Qber eine LUT ein Label zugeordnet) geeignet 45 

Die Baugruppe fuhrt die im Rasterbild auszuftthren- 
den verarbeitungs- und rechenzeitintensiven Teilfunk- 
tionen des Verarbeitungsalgorithmusses in Videoecht- 
zeit aus und erzeugt beim Auftreten von Ecken im Bild 
Codes, die in Listenform ausgegeben und durch ein Ver- 50 
arbeitungssystem ausgewertet werden. 

Die Erfindung wird im folgenden anhand der Figuren. 
1 bis 7 naher erlautert 

Es zeigen: 

Fig. 1 eine schematische Anordnung zur Realisierung 55 
des erfindungsgemaBen Verfahrens, 

Fig. 2 ein Kommunikationsmodell fur ein Farbbild- 
verarbeitungssystem, 

Fig. 3 ein Prinzipschaltbild des Eckenkodierers, 

Fig. 4 die Funktionsweise der Eckenkodegenerie- 60 
rung, 

Fig. 5 ein aufgenommenes Farbbild in Grauwertdar- 
stellung, 

Fig. 6 das Ergebnis einer pixelweisen Farbklassifika- 
tion entsprechend angelernter Farbklassen, 65 

Fig. 7 die Erkennung kreisformiger Objekte. 

Fig. 1 zeigt in einer schematischen Darstellung den 
prinzipiellen Aufbau einer Einrichtung zur Analyse und 
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Verarbeitung von Farrorclern entsprechend des erfin- 
dungsgemaBen Verfahrens und Fig. 2 ein Kommunika- 
tionsmodell des Farbbildverarbeitungssystems nach 
Fig. 1. Die Einrichtung besteht aus einem Eingabegerat 
1, einem Farbbildanalysator 2, einem Verarbeitungssy- 
stem 3 und einem Steuerrechner 4. Mit dem Eingabege- 
rat 1 wird eine zu erkennende Bildszene punkt- und 
zeilenweise, trichromatisch abgetastet. Die durch das 
Eingabegerat 1 gewonnenen Bildwerte (R, G, B) eines 
ersten Farbraumes 9 werden in Echtzeit iiber ein A/D- 
Wandlermodul 5 in eine Farbtransformations- und 
-klassifikationstabelle 6 eingelesen, welche die Bildwer- 
te (R, G, B) eines dem Eingabegerat 1 zugeordneten 
ersten Farbraumes 9 in die funktionsmaBig zugeordne- 
ten Bildwerte eines von dem ersten Farbraum 9 unab- 
hangigen zweiten Farbraumes 10 sowie in Farbklassen- 
nummern (Label 11) umsetzu Aus dem Labelbild 11 
wird anschlieBend in einem Eckenkodierer 8 eine Ek- 
kenkodeliste 12 erstellt und in den Speicher des Verar- 
beitungssystems 3 ubertragen. In einem Bildspeicher 7 
werden das klassifizierte Farbbild 10 und das Labelbild 
11 gespeichert. In dem Verarbeitungssystems 3, das so- 
wohl mit der Farbtransformations- und -klassifikations- 
tabelle 6, dem Bildspeicher 7 und dem Eckenkodierer 8 
verbunden ist und Informationen aus dem Bildspeicher 
7 und dem Eckenkodierer 8 erhalt, erfolgt das eigentli- 
che Erkennen (Wahrnehmen) der erfaBten Muster oder 
Objekte. Ober einen Steuerrechner 4 stehen die durch 
das Verarbeitungssystem 3 erfaBten Ergebnisse zur 
Ausgabe oder einer anderen Verarbeitung, wie bei- 
spielsweise einer ProzeBsteuemng, zur Verfugung. Der 
Steuerrechner 4 ubernimmt auBerdem die Bildvisuali- 
sierung und interaktive Aufgaben 
In dem Verarbeitungssystem 3 wird zunachst wird eine 
metrisch-topologische Beschreibung zusammenhangen- 
der Labelgebiete 13 (Fig. 2) unter Einbeziehung schnel- 
ler Konturapproximationsverfahren aus der Eckenko- 
deliste 12 abgeleitet und anschlieBend unter Einbezie- 
hung einer zielgerichteten Auswertung des gespeicher- 
ten und transformierten Farbbildes (HSI 10 und Label 
11) wird eine komplexe metrisch-topologische und farb- 
liche Objektbeschreibung 14 durchgefQhrt 

Fig. 3 beschreibt den prinzipiellen Aufbau des Ecken- 
kodierers 8, der aus einem Prozessorkern 15, welcher 
typischerweise mit einem ASIC (z. B. LCA der Fa. XI- 
LINX) realisiert wird, einem Zeilenspeicher 16 (z. B. 
mittels FIFO realisiert) sowie einem (optionalen) Puffer- 
speicher 17 (ebenfalls mittels FIFO realisiert) besteht 

Der Zeilenspeicher 16 dient der Generierung eines 
2*2 Bildfensters im Prozessorkern 15, in dem die Ecken- 
detektion erfolgt. Der Pufferspeicher 17 entkoppelt die 
Datenerzeugung durch den Prozessorkern 15 von der 
Datenubernahme durch das Verarbeitungssystem 3, so 
daB z. B. eine blockweise Obertragung der unregelma- 
Big anfallenden Listendaten moglich wird. 

Die Funktionsweise des Eckenkodierers 8 ist in Fig. 4 
dargestellt Die zu verarbeitenden Bilddaten werden 
dem Eckenkodierer 8 nach Fig. 3 durch ein Eingangsin- 
terface bereitgestellt Die temporare Speicherung der 
jeweils vorangehenden Bildzeile erfolgt mit einem Zei- 
lenspeicher (FIFO 1) 16. Aus den Daten der aktuellen 
und der vorhergehenden Bildzeile wird fur jeden ein- 
laufenden Bildpunkt die Belegung des ihn einschliefien- 
den 2»2-Fensters abgeleitet Ist in diesem Fenster mehr 
als ein Label vertreten, wird entsprechend Fig. 4 auf das 
Vorhandensein einer Ecke gepriift Entsprechend der 
Art der Ecke wird ein Code gebildet, der zusammen mit 
der Zeilenposition der Ecke und der aktuellen Belegung 
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des Fensters (4 Label) aus£?pben wird. Zusatzlich wird 
an jedem Zeilenende ein Zeilenendecode generiert Aus 
diesen Werten kann das Verarbeitungssystem 3 (Fig. 1) 
die vollstandige Kontur und morphometrischen Merk- 
male der ixn Bild enthaltenen Objekte ermitteln. Der 5 
generierte Code client der Beschleunigung der Auswer- 
tung. 

Die erzeugten Ausgangsdaten werden in einem Puf- 
ferspeicher (FIFO 2) 17 (Fig- 3) abgelegt und zum Ver- 
arbeitungssystem 3 (Fig. 1) blockweise tibertragen. Der 10 
Pufferspeicher 17 erm6glicht sowohl eine Entkopplung 
der Datenstrdme vom Eckenkodierer 8 und dem Verar- 
beitungssystem 3 aJs auch eine Verarbeitung von Bil- 
dern mit stark gestdrten Bildteilen, die kurzzeitig einen 
Datenanfall erzeugen, der grdBer ist als die Datenuber- 15 
nahmerate des Verarbeitungssystems 3. 

Die Fig. 5 bis 7 zeigen ein Beispiel fiir die Klassifika- 
tion von bunten Objekten nach Farbe, GrdBe und Form. 
Fig. 5 gibt das unverarbeitete Originaibild (hier in Grau- 
wertdarstellung) wieder. Es handelt sich urn linsenformi- 20 
ge bunte Objekte, von denen einige zerbrochen sind, auf 
einem unbunten Hintergrund. 

Fig. 6 zeigt das Ergebnis einer pixelweisen Farbkias- 
sifikation. Bildpunkte, die einer der angelernten Farb- 
klassen entsprechen, sind weiB wiedergegeben, alle an- 25 
deren schwarz. Das Ergebnis, d. h. die Erkennung von 
intakten, kreisfdrmigen Objekten eines bestimmten 
Durchmessers, ist in Fig. 7 dargestellt 

Nach dieser Systematic bei der von einer Bildseg- 
mentierung auf Basis von Farbmerkmalen ausgegangen 30 
wird, k6nnen viele Probleme der Sortierung und Kon- 
trolle von Objekten nach Farbe, GrdBe und Form geldst 
werden. Das betrifft zum Beispiel die Sortierung und 
Verpackung von Obst und GemOse, die Kontrolle des 
Braunungsgrades von Backwaren, Kontrolie von Ta- 35 
blettenpackungen und vieles andere mehr. 

In der Robotertechnik kann auf dieser Basis das Er- 
kennen und Greifen nach unsortierten Teilen in einer 
Kiste geldst werden, wenn diese geeignete farbige 
Merkmale besitzen oder zielgerichtet mit solchen verse- 40 
hen werden. 

Auch Oberwachungsfunktionen und Bewegungsana- 
lysen konnen durch bewuBte farbliche Gestaltung bzw. 
Markierungen vereinfacht und nach der Erfindung aus- 
gefiihrt werden. 45 

Patentanspriiche 

1. Verfahren zur Analyse und Verarbeitung von 
Farbbildern einer zu erkennenden Bildszene durch 50 
Auswerten der durch punkt- und zeilenweise, tri- 
chromatischen Abtastung der Bildszene mittels ei- 
nes Eingabegerates gewonnenen Bildwerte (R, G, 
B) durch ein digital in Echtzeit arbeitenden Bildver- 
arbeitungssystem, dadurch gekennzeichnet, daB 55 

a) die von dem Eingabegerat (1) gewonnenen 
Bildwerte (R, G, B) eines ersten Farbraumes 
(9) in einen hinsichtlich Buntart (Hue), Satti- 
gung und Helligkeit speziell defmierten und 
vom ersten Farbraum (9) unabhSngigen zwei- eo 
ten Farbraum (10) pixelweise transformiert 
werden, 

b) in dem zweiten Farbraum (10) eine Tren- 
nung von Buntheit und Helligkeit durchge- 
fuhrt wird, was die Erkennung bestimmter 65 
Farbklassen auch bei Helligkeitsschwankun- 
gen erlaubt, 

c) die Bildwerte (R, G, B) eines ersten Farbrau- 
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mes (9) wer38n gleichzeitig pixelweise Qber 
eine Farbklassifikations- und -transforma- 
tionstabelle (6) klassifiziert und dieses so klas- 
sifizierte Farbbild in ein sogenanntes Labelbild 
(11), welches nur noch die KJassennummern 
enthalt, tiberfiihrt und zusammen mit den Bild- 
werten des zweiten Farbraums (10) in einem 
dafur vorgesehenen Bildspeicher (7) gespei- 
chert, 

d) in dem Labelbild (11) eine Verarbeitung in 
Videoechtzeit durchgefuhrt wird, indem ein 
Obergang zum objektbezogenen Listenverar- 
beitung durch Detektion der Ecken (Erstellung 
einer Eckenkodeliste (12)) durchgefuhrt wird 
und aus der Eckenkodeliste (12) in einer Verar- 
beitungseinheit (3) die Ableitung von zusam- 
menh&ngenden mehrwertigen Labelgebieten 

(13) erfolgt, 

e) die zusammenhangenden Labelgebiete (13) 
in der Verarbeitungseinheit (3) metrisch-topo- 
logisch analysiert werden als Basis fiir die Er- 
kennung komplexer Objekte und Objektzu- 
sammenhange auf einer symbolischen Ebene 

(14) , wobei durch den Zugriff auf den Bildspei- 
cher (7) die Auswertung der Farbinformation 
des zweiten Farbraums (10) einbezogen wird. 

2. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Belehrung der Farbklassifika- 
tions- und -transformationstabelle (6), der im Ver- 
fahrensschritt c klassifizierten Farbwerte, interak- 
tiv anhand von Beispielobjekten oder automatisch 
durch Analyse der Bildwerte des zweiten Farbrau- 
mes (10) durch das Verarbeitungssystem (3) erfolgt. 

3. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die metrisch-topologische Beschrei- 
bung des Labelbiides (14) im Verfahrensschritt e 
durch die Einbeziehung schneller Konturapproxi- 
mationsverfahren zur Sicherung einer stark ver- 
dichteten Beschreibung des Labelbiides (14) er- 
folgt. 

4. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB in dem Verarbeitungssystem (3) auf 
der Basis der Eckenkodeliste (12) und dem in den 
zweiten Farbraum (10) tranformierten Bildes eine 
Analyse der gefundenen farbigen Objekte oder 
Muster durch das Verarbeitungssystem (3) in Vi- 
deoechtzeit oder angentherter Videoechtzeit er- 
folgt 

5. Einrichtung zur Analyse und Verarbeitung von 
Farbbildern einer zu erkennenden Bildszene durch 
Auswerten der durch punkt- und zeilenweise, tri- 
chromatischen Abtastung der Bildszene mittels ei- 
nes Eingabegerates gewonnenen Bildwerte (R, G, 
B) durch ein digital in Echtzeit arbeitendes Bildver- 
arbeitungssystem, dadurch gekennzeichnet, daB die 
Einrichtung aus einem Eingabegerat (1), einem 
Farbbildanalysator (2), einem Verarbeitungssystem 
(3) und einem Steuerrechner (4) besteht, das Einga- 
begerat (1) iiber ein A/D-Wandlermodul (5) an eine 
Farbklassifikations- und -transformationseinrich- 
tung (6) in dem Farbbildanalysator (2) angeschlos- 
sen ist, welche die Bildwerte (R, G, B) eines dem 
Eingabegerat (1) zugeordneten ersten Farbraumes 
(9) in die funktionsmaBig zugeordneten Bildwerte 
eines vom ersten Farbraum (9) unabhangigen zwei- 
ten Farbraumes (10) und in ein Labelbild (11) urn- 
setzt, einem Eckenkodierer (8) zur Erstellung der 
Eckenkodeliste (12), einem Bildverarbeitungssy- 
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stem (3) und einem St Jj^^hner (4) besteht. 

6. Einrichtung nach Anspruch 5, dadurch gekenn- 
zeichnet, daB die Farbklassifikations- und -transfor- 
mationseinrichtung (6) im Farbbildanalysator (3) 
aus Look-Up-Table (LUT> Baugruppen besteht. 5 

7. Einrichtung nach Anspruch 5, dadurch gekenn- 
zeichnet, daB der Eckenkodierer (8) aus frei pro- 
grammierbaren LCA-Bauelementen und FIFO- 
Bauelementen besteht 

8. Einrichtung nach Anspruch 5, dadurch gekenn- io 
zeichnet, daB das Bildverarbeitungssystem (3) ein 
kommerziell verfugbarer Signalprozessorboard ist. 
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Abstract of DE4419395 

The image processing and object identification 
system is used to analyse, identify and classify 
coloured objects on the basis of colour, shape and 
position. The analyser (2) receives an input (1) that 
allows the scene to be sampled on a line and point 
basis. Coupled to the analyser and input unit is a 
control computer (4) and outputs are connected to a 
processor (3). The RGB values entered are 
converted (5) and used to access colour 
transformation and classification data in a look-up 
table (6). The values are entered into a memory (7). 
Corner information is encoded (8) and fed to the 
processor for classifying. 
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